ภายหลังจากลาออกจากราชการนายภิรมย์ได้ลงสมัครรับเลือกตั้งสมาชิกสภาผู้แทนราษฎร เขต 5 จังหวัดนครราชสีมา เมื่อวันอาทิตย์ที่ 23 ธันวาคม พ.ศ. 2550 ในสังกัดพรรคพลังประชาชนและได้รับเลือกตั้งในปีนั้นโดยสามารถเอาชนะนาย วัชรา ณ วังขนาย เจ้าของตำแหน่งจาก พรรครวมชาติพัฒนา ไปได้ แต่หลังจากที่พรรคพลังประชาชนถูกศาลรัฐธรรมนูญสั่งยุบพรรคในปี พ.ศ. 2551 นายภิรมย์จึงย้ายมาสังกัดพรรคภูมิใจไทย

ต่อมาในการเลือกตั้งเมื่อวันอาทิตย์ที่ 3 กรกฎาคม พ.ศ. 2554 นายภิรมย์ได้ลงป้องกันตำแหน่งแต่ก็พ่ายแพ้ให้แก่นาย โกศล ปัทมะ จาก พรรคเพื่อไทย ซึ่งเป็นน้องชายของนาย นพดล ปัทมะ อดีต รัฐว่าการกระทรวงการต่างประเทศ

จากนั้นในปี พ.ศ. 2561 นายภิรมย์พร้อมด้วยนางอรทัยผู้เป็นภรรยาได้ย้ายมาสังกัด พรรคพลังประชารัฐ โดยนายภิรมย์ถือเป็นหนึ่งในแกนนำกลุ่มสามมิตรทำหน้าที่ชักชวนบรรดา อดีต ส.ส. นักการเมืองท้องถิ่น ให้ย้ายมาสังกัดพรรคพลังประชารัฐ ต่อมาในการเลือกตั้งสมาชิกสภาผู้แทนราษฎรเมื่อวันอาทิตย์ที่ 24 มีนาคม พ.ศ. 2562 นายภิรมย์ได้ขยับขึ้นไปอยู่ในบัญชีรายชื่อลำดับที่ 24 พร้อมกับส่งนางอรทัยลงสมัครในเขต 5 แทนนายภิรมย์ซึ่งทั้งสองไม่ได้รับเลือกตั้ง

หลังการเลือกตั้งนายภิรมย์ได้รับแต่งตั้งให้ดำรงตำแหน่งเป็นเลขานุการรัฐมนตรีว่าการกระทรวงอุตสาหกรรม (นาย สุริยะ จึงรุ่งเรืองกิจ) เมื่อวันที่ 6 สิงหาคม พ.ศ. 2562 [2]

สมาชิกสภาผู้แทนราษฎร

นายภิรมย์ พลวิเศษ ได้รับเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรมาแล้ว 1 สมัยคือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2550 จังหวัดนครราชสีมา สังกัด พรรคพลังประชาชน → พรรคภูมิใจไทย